Sau khi Mikhail Kalinin nghỉ hưu, Shvernik được bầu làm Chủ tịch Đoàn Chủ tịch Xô Viết Tối cao Liên Xô (19 tháng 3 năm 1946 - 15 tháng 3 năm 1953). Không thua kém gì Kalinin về độ nổi tiếng. Nhưng trái ngược với Kalinin, ông chỉ là ủy viên dự khuyết Bộ Chính trị. Giữ chức vụ cao nhất đất nước theo Hiến pháp, ông là một lãnh đạo thiên bẩm, thích làm việc với bộ máy nhà nước. Ông bắt đầu một chiến dịch không thành công để nâng cao vai trò của các Xô viết địa phương. Ngày 26 tháng 3 năm 1947, ông ký nghị quyết do Stalin khởi xướng để bãi bỏ án tử hình trong nước. Vào ngày 12 tháng 1 năm 1950, ông đã ký một nghị quyết mới về việc khôi phục nó. Ông đứng đầu Ủy ban triển khai và tổ chức các sự kiện liên quan đến kỷ niệm 70 năm ngày sinh của Stalin (12/1949). Đề xuất thành lập Huân chương Stalin, nhưng ý tưởng này không được Stalin ủng hộ.

Năm 1947-1953, theo Nghị định của Đoàn Chủ tịch Xô Viết Tối cao Liên Xô, ông đưa ra các cấp bậc quân nhân với quân phục có cúc và cấp hiệu cho nhân viên các bộ và cơ quan dân sự của Liên Xô, sau đó đã bị Kliment Voroshilov kế nhiệm hủy bỏ.

Kết quả của việc Bộ Chính trị chuyển thành Đoàn Chủ tịch Ban Chấp hành Trung ương Đảng, ông được bầu làm Ủy viên Đoàn Chủ tịch (16 tháng 10 năm 1952 - 5 tháng 3 năm 1953), nhưng sau cái chết của Stalin ông bị miễn nhiệm các chức vụ chính trong đảng và nhà nước. Một Hội nghị chung của Trung ương Đảng Cộng sản Liên Xô, Hội đồng Bộ trưởng Liên Xô và Đoàn Chủ tịch Xô viết Tối cao Liên Xô đã khuyến nghị rằng Shvernik chuyển từ chức vụ nguyên thủ quốc gia Nhà nước Liên Xô sang một số chức vụ khác. Theo quyết định của Hội nghị chung, ông cũng được chuyển làm Ủy viên dự khuyết Đoàn Chủ tịch Trung ương Đảng (5/3/1953 - 29/6/1957). Thực hiện khuyến nghị, tại phiên họp Xô viết tối cao đã bầu Kliment Voroshilov làm nguyên thủ quốc gia mới (ngày 15 tháng 3 năm 1953). Shvernik trở lại làm việc trong Hội đồng Trung ương các công đoàn Liên Xô với chức vụ Chủ tịch Hội đồng Trung ương các công đoàn Liên Xô (tháng 3 năm 1953 - tháng 2 năm 1956). Vào tháng 12 năm 1953 ông là một thành viên của Tòa án đặc biệt thay mặt Tòa án Tối cao Liên Xô để xét xử Lavrenty Beria.

Với việc tăng cường quyền lực của Nikita Khrushchyov, ông được bổ nhiệm làm Chủ tịch Ủy ban Kiểm tra Trung ương Đảng Cộng sản Liên Xô (tháng 2 năm 1956 - tháng 11 năm 1962), và sau đó là Chủ tịch ủy ban Đảng trực thuộc Trung ương Đảng (tháng 11 năm 1962 - tháng 3 năm 1966), nhoài ra đã tham gia vào việc phục hồi các nạn nhân bị đàn áp chính trị (còn được gọi là "Ủy ban của Shvernik"). Năm 1957, ông được trở lại làm Ủy viên Đoàn Chủ tịch Ban Chấp hành Trung ương Đảng (29 tháng 6 năm 1957 - 29 tháng 3 năm 1966).

Ông đứng đầu Ủy ban Cải táng Stalin của Hội đồng Bộ trưởng Liên Xô. Người ta ghi chép rằng khi Stalin được cải táng, Shvernik đã khóc.

Sau Đại hội lần thứ 23 của Đảng Cộng sản Liên Xô năm 1966, ông rút khỏi toàn bộ chức vụ vì tuổi cao và sau đó nghỉ hưu.

Ông mất năm 1970 và được chôn cất tgeo nghi thức tại bức tường Quảng trường Đỏ ở Moskva.